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(57) Abstract: The invention concerns a method, a 
mobile device (1) and a main frame (4) for delivering 
to a mobile user useful data concerning objects (2) 
observed by him. Image data of a specified object (2) 
are recorded by image sensing means (11) borne by 
the user, in that the image signals corresponding to the 
image data are directly projected on the user's retina 
(51). The user selects, from visualised image data, an 
image segment which is determined by the position of 
the user's eyes. Data concerning said image segments 
are brought to a processing unit (16, 42) located in the 
mobile device (1) or in the main frame (4) and which 
defines the desired useful data concerning said image 
segments, for instance a translation of textual data 
applied on the observed objects (2) or background 
information added to the observed objects (2), said 
useful data being supplied to the user for example in 
visible or audible form. 

(57) Zusammenfassung: Verfahren, mobile 
Vorrichtung (1) und Zentrale (4), um einem mobilen 
Benutzer Nutzinformationen betreffend von ihm 
betrachtete Objekte (2) zu liefern, wobei Bilddaten 
eines genannten Objekts (2) mittels vom Benutzer 
getragenen Bildaufnahmemitteln (11) aufgenommen 
werden und fur den Benutzer sichtbar gemacht 
werden, indem den Bilddaten entsprechende 
Bildsignale direkt auf die Retina (51) des Benutzers 
projiziert werden, wobei der Benutzer aus den sichtbar 
gemachten Bilddaten ein Bildsegment auswahlt, das 
durch Augenpositionen des Benutzers t^timmt wird, 
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wobei auf dem Bildsegment basierende Bildsegmentdaten an eine Verarbeitungseinheit (16, 42) geleitet werden, die sich in der 
mobilen Vorrichtung (1) oder in der Zentrale (4) befmdet und die basierend auf den Bildsegmentdaten die gewilnschten Nutzinfor- 
mationen bestimmt, beispielsweise eine Obersetzung von auf den betrachteten Objekten (2) angebrachten Textinformationen oder 
Hintergrundinformationen zu betrachteten Objekten (2) und wobei diese Nutzinformationen fur den Benutzer, beispielsweise in 
sichtbarer oder horbarer Form, wiedergegeben werden. 
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Verfahren und geeignete Vorrichtungen, urn Nutzinformationen betreffend 

betrachtete Objekte zu liefern 

Die vorliegende Erfindung betrifft ein Verfahren und geeignete Vor- 
richtungen, urn Nutzinformationen betreffend betrachtete Objekte zu iiefem. 
5 Insbesondere betrifft die vorliegende Erfindung ein Verfahren und geeignete 
Vorrichtungen urn einem mobilen Benutzer Nutzinformationen betreffend von 
ihm betrachtete Objekte zu liefern. 

Bekannte Verfahren aus dem Gebiet der Bildverarbeitung ermogli- 
chen es, aus digitalen Bilddaten, die mittels geeigneten Bildaufnahmemitteln 

10 aufgenommen wurden, beispielsweise mittels einer digitalen Bild- oder Video- 
kamefa, Oder die durch Digitalisierung aus einem analogen Bild gewonnen 
wurden, Objekte, die in den Bilddaten entsprechenden Bildern enthalten sind, 
zu erkennen und zu identifizieren. Zum Beispiel konnen mittels OCR (Optical 
Character Recognition) Schriftzeichen und daraus bestehende Texte erkannt 

15 werden. Solche bekannte Verfahren und dafur geeignete Vorrichtungen werden 
vorwiegend als Bestandteil festinstallierter Anlagen und Systeme eingesetzt 
oder konnen als Bestandteil mobiler Vorrichtungen, beispielsweise in einem 
Handscanner fur die Texterfassung, durch Benutzer unter manueller Verwen- 
dung mobil eingesetzt werden. Oft ist es allerdings wunschenswert, dass mo- 

20 bile Benutzer Informationen direkt betreffend von ihnen betrachtete Objekte 
erhalten, ohne dass sie dabei separate Bildaufnahmen durchfuhren mussen, 
die nur fur die Informationsgewinnung verwendet werden. 

Es ist eine Aufgabe dieser Erfindung, ein neues und besseres Ver- 
fahren sowie dafur geeignete Vorrichtungen vorzuschlagen, welche es ermogli- 
25 chen, einem Benutzer beim Betrachten von Objekten Nutzinformationen be- 
treffend die von ihm betrachteten Objekte zu liefern. 

Gemass der vorliegenden Erfindung wird dieses Ziel insbesondere 
durch die Elemente der unabhangigen Anspruche erreicht. Weitere vorteilhafte 
Ausfuhrungsformen gehen ausserdem aus den abhangigen Anspruchen und 
30 der Beschreibung hervor. 
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Dieses Ziel wird durch die vorliegende Erfindung insbesondere da- 
durch erreicht, dass Bilddaten eines vom mobilen Benutzer betrachteten Ob- 
jekts mittels vom Benutzer getragenen Bildaufnahmemitteln aufgenommen 
werden, dass mindestens gewisse dieser Bilddaten fur den Benutzer sichtbar 
5 gemacht werden indem diesen Bilddaten entsprechende Bildsignale direkt auf 
die Retina des Benutzers projiziert werden, wobei die Bilddaten bevor sie sicht- 
bar gemacht werden verarbeitet werden konnen, indem beispielsweise Kontu- 
ren hervorgehoben oder Kontraste erhoht werden, und dass der Benutzer aus 
den sichtbar gemachten Bilddaten ein Bildsegment auswahtt, wobei das Bild- 

io segment durch Augenpositionen des Benutzers bestimmt wird, dass auf dem 
ausgewahlten Bildsegment basierende Bildsegmentdaten an eine Verarbei- 
tungseinheit geleitet werden, welche Verarbeitungseinheit basierend auf ge- 
nannten Bildsegmentdaten genannte Nutzinformationen bestimmt, und dass 
genannte Nutzinformationen fur den Benutzer wiedergegeben werden. Der 

15 Vorteil dieses Verfahrens besteht darin, dass der Benutzer direkt Nutzinforma- 
tionen betreffend von ihm betrachtete Objekte erhalt, ohne dass er dabei zu- 
satzliche, separate Bildaufnahmen nur fur den Zweck der Gewinnung von 
Nutzinformationen machen muss. 

In einer Ausfuhrungsvariante befindet sich die Verarbeitungseinheit 
20 in einer Zentrale und die Bildsegmentdaten werden uber ein Mobilfunknetz, 
zum Beispiel ein GSM- oder UMTS-Netz oder ein anderes, beispielsweise 
satellitenbasiertes, Mobilfunknetz, an die Verarbeitungseinheit in der Zentrale 
geleitet. Diese Ausfuhrungsvariante ist vor allem dann vorteilhaft, wenn die 
Verarbeitung der Bildsegmentdaten zur Gewinnung der Nutzinformationen sehr 
25 aufwendig ist und lokal beim Benutzer nicht effizient durchgefuhrt werden kann, 
beispielsweise weil die dazu notige mobile Vorrichtung zu gross und schwer 
wurde, und/oder weil die Nutzinformationen Angaben beinhalten, die lokal beim 
Benutzer nicht verfugbar sind. Umgekehrt hat eine Verarbeitungseinheit, die 
sich in einer mobilen Vorrichtung lokal beim Benutzer befindet den Vorteil, dass 
30 in dieser Vorrichtung keine Kommunikationskomponenten vorhanden sein 
mussen, dass keine Abhangigkeit von der externen Zentrale besteht, und dass 
keine Verzogerung durch die Kommunikation mit der externen Zentrale verur- 
sacht wird. 
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An dieser Stelle sollte festgehalten werden, dass sich die vorlie- 
gende Erfindung neben dem erfindungsgemassen Verfahren auch auf eine ge- 
eignete Zentrale und auf eine geeignete mobile Vorrichtung bezieht. 

In einer Ausfuhrungsvariante werden durch ein Texterkennungsmo- 
5 dul in der mobilen Vorrichtung aus dem gewahlten Bildsegment Textinformatio- 
nen in einer ersten Sprache herausgearbeitet und als Bildsegmentdaten an die 
Verarbeitungseinheit (in der mobilen Vorrichtung oder in der Zentrale) weiter- 
geleitet, welche Verarbeitungseinheit diese Textinformationen in die Nutzinfor- 
mationen mit Textinformationen in einer zweite Sprache ubersetzt. In einer 
alternativen Ausfuhrungsvariante werden die Bildsegmentdaten mit den dem 
gewahlten Bildsegment entsprechenden Bilddaten unverandert an die Zentrale 
ubermittelt und dort durch die Verarbeitungseinheit daraus Textinformationen in 
einer ersten Sprache herausgearbeitet und diese Textinformationen in die 
Nutzinformationen mit Textinformationen in einer zweite Sprache ubersetzt. 
Diese Ausfuhrungen haben den Vorteil, dass der mobile Benutzer, der sich bei- 
spielsweise in einem fremden Land befindet, von ihm betrachtete Objekte mit 
darauf angebrachten fremdsprachigen Textinformationen in seine Mutterspra- 
che iibersetzen lassen kann, ohne dass er dabei manuell papierbasierte oder 
elektronische Obersetzungshilfen konsultieren muss. 

In einer Ausfuhrungsvariante identifiziert die Verarbeitungseinheit (in 
der mobilen Vorrichtung oder in der Zentrale) basierend auf den Bildsegment- 
daten mindestens ein betrachtetes Objekt und stellt basierend auf dieser Ob- 
jektidentifizierung Nutzinformationen bereit, die diesem Objekt zugeordnete 
Objektinformationen umfassen. Der Vorteil dieser Ausfuhrung besteht darin, 
dass der mobile Benutzer, der sich beispielsweise in einem Museum oder in 
einer Stadt mit Sehenswiirdigkeiten befindet, mit Identifizierungs- und/oder 
Hintergrundinformationen zu von ihm betrachteten Objekten, beispielsweise 
Ausstellungsgegenstande oder historische Bauten, versorgt werden kann, ohne 
dass er dabei manuell papierbasierte oder elektronische Informationsquellen 
konsultieren oder vorgeschriebene Routen einhalten muss. 

In Varianten, die beispielsweise fur den Benutzer wahlbar sind, wer- 
den die Nutzinformationen dem Benutzer in sichtbarer oder horbarer Form wie- 
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dergegeben. Die Wiedergabe in horbarer Form hat insbesondere den Vorteil, 
dass Nutzinformationen beispielsweise auch einem sehbehinderten Benutzer 
verfugbar gemacht werden konnen, was die Einsatz- und AnwendungsmGglich- 
keiten des erfindungsgemassen Verfahrens und der erfindungsgemassen 
5 mobilen Vorrichtung urn ein Vielfaches erweitert, da sie als Sehhilfe mit akusti- 
scher Nutzinformationswiedergabe verwendet werjden konnen. 

Nachfolgend wird eine Ausfuhrung der vorliegenden Erfindung an- 
hand eines Beispieles beschrieben. Das Beispiel der Ausfuhrung wird durch 
folgende einzige beigelegte Figur illustriert: 

io Figur 1 zeigt ein Blockdiagramm, in welchem schematisch eine Zen- 

trale dargestellt ist, die uber ein Mobilfunknetz mit einer mobilen Vorrichtung 
verbunden ist, welche mobile Vorrichtung eine virtuelle retinale Anzeigevor- 
richtung umfasst, die Bildsignale direkt auf die Retina eines Auges projiziert. 

In der Figur 1 bezieht sich die Bezugsziffer 1 auf eine mobile Vor- 

15 richtung, welche eine virtuelle retinale Anzeigevorrichtung 12 umfasst, die Bil- 
der fur den Benutzer der mobilen Vorrichtung 1 sichtbar macht, indem sie ent- 
sprechende Bildsignale auf die Retina 51 des Auges 5 des Benutzers projiziert. 
Die Bilder sind stille Oder bewegte Bilder von Objekten 2, die vom Benutzer be- 
trachtet werden. Die Biiddaten fur die Bilder werden durch geeignete Bildauf- 

20 nahmemittel, beispielsweise durch eine Videokamera 1 1 oder durch geeignete 
Optikelemente 1 1 unter Verwendung der virtuellen retinalen Anzeigevorrichtung 
12 als aufnehmender Bildscanner, aufgenommen und den Biiddaten entspre- 
chende Bildsignale durch die virtuelle retinale Anzeigevorrichtung 12 auf die 
Retina 51 projiziert. Die Verwendung von mikroelektromechanischen Elemen- 

25 ten, insbesondere mikroelektromechanische Scanner mit einem zweiachsigen 
Spiegel, fur die Projizierung von Bildsignaien in einer direkten retinalen Anzei- 
gevorrichtung und/oder fur die Aufnahme von von Objekten reflektiertem oder 
abgestrahltem Licht wird beispielsweise in der Patentanmeldung WO 98/13720 
beschrieben. An dieser Stelle sollte erwahnt werden, dass es durchaus moglich 

30 ist die aufgenommenen Biiddaten durch geeignete Bildverarbeitungsmittel zu 
verandern bevor sie fur den Benutzer sichtbar gemacht werden, beispielsweise 
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konnen Konturen hervorgehoben. Kontraste erhoht oder andere Bildverarbei- 
tungen vorgenommen werden. 

Mindestens gewisse erste Komponenten der mobilen Vorrichtung 1, 
insbesondere die virtuelle retinale Anzeigevorrichtung 12 und vorzugsweise 
5 auch die Bildaufnahmemittel 1 1 , sind in einem gemeinsamen Gehause inte- 
griert Oder auf einem gemeinsamen Trager installiert, wobei dieses Gehause 
oder dieser Trager vorzugsweise so ausgestaltet ist, dass es/er von einem Be- 
nutzer wie eine herkommliche Brille aufgesetzt werden kann. Zweite Kompo- 
nenten, die gegebenenfalls in einem separaten weiteren Gehause integriert 
io sind, sind beispielsweise uber eine drahtgebundene oder iiber eine drahtlose 
Schnittstelle mit ersten Komponenten verbunden, die sich im speziell ausge- 
stalteten Gehause oder auf dem speziell ausgestalteten Trager befinden. 

Eine virtuelle retinale Anzeigevorrichtung (Virtual Retinal Display, 
VRD), welche Bildsignale direkt auf die Retina 51 eines Betrachters projizieren 

is kann, wurde beispielsweise in den Patentanmeldungen WO 94/09472, WO 
97/37339 und in der oben erwShnten Patentanmeldung WO 98/13720 be- 
schrieben. Diese virtuellen retinalen Anzeigevorrichtungen konnen uber eine 
Videoschnittstelle mit Bilddaten versorgt werden, beispielsweise in Form eines 
RGB-Signals, eines NTSC-Signals, eines VGA-Signals oder eines anderen 

20 formatierten farbigen oder monochromen Video- oder Grafiksignals. Der Fach- 
mann wird verstehen, dass es vorteilhaft sein kann die in den erwahnten 
Patentschriften WO 94/09472 und WO 97/37339 beschriebene virtuelle retinale 
Anzeigevorrichtung, respektive die dort beschriebene Videoschnittstelle, so 
anzupassen, dass es je nach den verwendeten Bildaufnahmemitteln 1 1 auch 

25 andere Formate von Bilddaten effizient entgegennehmen kann. Mittels eines 
nicht dargestellten Schnittstellenmoduls konnen aufgenommene Bilddaten aber 
auch geeignet an die Videoschnittstelle angepasst werden, respektive erhal- 
tene Bilddaten so umgewandelt werden, dass sie an die Videoschnittstelle 
angelegt und mittels der virtuellen retinalen Anzeigevorrichtung 12 fur den 

30 Benutzer sichtbar gemacht werden konnen. 

Wie in der Figur 1 schematisch dargestellt ist, umfasst die virtuelle 
retinale Anzeigevorrichtung 12 ein Augenpositionsbestimmungsmodul 13, wel- 
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ches aktuelle Augenpositionen des Benutzers beim Betrachten von Bildern be- 
stimmen und uber die oben erwahnte, oder uber eine zusatzliche drahtgebun- 
dene oder drahtlose Schnittstelle an ein Auswahlmodul 14 der mobilen Vor- 
richtung 1 leiten kann. Ein Augenpositionsbestimmungsmodui (Eye Tracker), 

5 welches aktuelle Augenpositionen basierend auf der Position der Pupille 52 
eines Benutzers bestimmt, wurde ebenfalls in der oben erwahnten Patentan- 
meldung WO 94/09472 beschrieben und kann vom Fachmann so erweitert 
werden, dass die bestimmte Augenposition Uber eine geeignete Schnittstelle 
fur Komponenten ausserhalb der virtuellen retinalen Anzeigevorrichtung 12 

10 verfugbar ist; je nach Ausfuhrung konnen Werte fur beide Augen verfugbar 
gemacht werden. 

- Das Auswahlmodul 14 der mobilen Vorrichtung 1, beispielsweise ein 
programmiertes Softwaremodul, das auf einem Prozessor der mobilen Vor- 
richtung 1 ausgefiihrt wird, bestimmt auf Grund der aktuellen Augenposition 

15 welcher Teil des projizierten Gesamtbildes vom Benutzer betrachtet wird und 
leitet daraus ein Bildsegment des projizierten Gesamtbildes ab. Die Wahl eines 
Bildsegments basierend auf der Augenpositionen des Benutzers, kann auf ver- 
schiedene Weise gesteuert werden. Zum Beispiel kann ein Bildsegment von 
vordefinierter oder variabler Grosse gewShlt werden, wenn das Auswahlmodul 

20 14 feststellt, dass der Benutzer denselben Teilbereich des Gesamtbilds wah- 
rend einer vordefinierten Zeitdauer betrachtet hat. In einer anderen Variante 
kann ein Bildsegment von vordefinierter oder variabler Grosse gewahlt werden, 
nachdem der Benutzer mittels eines nicht dargestellten Bedienungselementes, 
beispielsweise eine dafiir vorgesehene Taste, ein entsprechendes Signal an 

25 das Auswahlmodul 14 gegeben hat. Der Auswahlvorgang kann durch den Be- 
nutzer in einer weiteren Variante auch dadurch eingeleitet werden, dass er 
sein(e) Auge(n) auf einen vordefinierten Bereich, der beispielsweise wie in ei- 
ner herkommlichen grafischen Benutzeroberflache als grafisches Bedienungs- 
element dargestellt ist und sich vorzugsweise an einem ausseren Bildbereich 

30 befindet, positioniert und, beispielsweise nach der Anzeige einer grafisch dar- 
gestellten Ruckmeldung des Auswahlmoduls 14, den gewunschten auszuwah- 
lenden Bildbereich betrachtet. 
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Ein solches Auswahlmodul 14 ermoglicht folglich die virtuelle retinale 
Anzeigevorrichtung 12 als grafische Benutzerschnittstelle einzusetzen, die vom 
Benutzer durch Positionierung seiner Augen gesteuert werden kann, indem das 
Auswahlmodul 14 mittels der virtuellen retinalen Anzeigevorrichtung 12 GUI- 
Objekte (Graphical User Interface) in Bildbereiche auf die Retina 51 des Benut- 
zers projiziert, die vordefinierten Augenpositionswerten entsprechen und durch 
Vergleichen der aktuellen Augenpositionen mit den vordefinierten Augenpositi- 
onswerten vom Benutzer mittels Augenpositionierung eingegebene Befehle 
entgegennehmen kann. Das Auswahlmodul kann beispielsweise auch be- 
kannte GUI-Methoden verwenden, urn die Auswahl eines gewunschten Bild- 
segments zu erleichtern. Zum Beispiel kann vor der eigentlichen Auswahl eines 
Bildsegments das Bildsegment, das vom Auswahlmodul als auszuwahlendes 
Bildsegment angenommen wurde, durch eine rechteckfermige Hilfslinie ange- 
zeigt und vom Benutzer mittels herkommlicher Bedienungselemente Oder mit- 
tels der erwahnten grafischen Bedienungselemente als ausgewahltes Bildseg- 
ment aktiviert werden. Auf diese Weise kann auch die Grosse des auszuwah- 
lenden Bildsegments und gegebenenfalls die auf das ausgewahlte Bildsegment 
anzuwendende Verarbeitungsfunktion gewahlt werden. 

Die MOglichkeiten, ein ausgewahltes Bildsegment weiterzuverarbei- 
ten, sind grenzenlos und in den folgenden Abschnitten werden nurzwei An- 
wendungsbeispiele, namlich die Obersetzung von auf dem betrachteten Objekt 
2 angebrachten Textinformationen und die Erkennung und Identifizierung von 
Objekten 2, naher beschrieben. Es soli hier festgehalten werden, dass die mo- 
bile Vorrichtung 1, respektive das beschriebene Verfahren, so ausgefuhrt wer- 
den kann, dass nur jeweils eine vordefinierte Weiterverarbeitungsfunktion ver- 
fiigbar ist Oder dass verschiedene durch den Benutzer selektierbare Weiterver- 
arbeitungsfunktion verfugbar sein konnen. 

Im ersten Anwendungsbeispiel funktioniert die mobile Vorrichtung 1 
fur den Benutzer wie eine Ubersetzungsbrille, das heisst, wenn das ausge- 
wahlte Bildsegment Textinformationen in einer ersten Sprache enthalt, kOnnen 
dem Benutzer Nutzinformationen mit Textinformationen in einer ubersetzten 
zweiten Sprache geliefert werden. Zu diesem Zweck wird ein ausgewahltes 
Bildsegment, beispielsweise in der Form einer Bitmap oder in geeigneter kom- 
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primierter Form, einem Texterkennungsmodul 15, 421 zugefuhrt, beispiels- 
weise ein hardware- oder softwaremassiges OCR-Verfahren (Optical Character 
Recognition), welches im ausgewahlten Bildsegment enthaltene Buchstaben, 
respektive Schriftsymbole, erkennt und die daraus zusammengesetzte Text- 
5 information, beispielsweise in Form einer Zeichenkette, erstellt und in entspre- 
chenden Bildsegmentdaten zur Gbersetzung an eine entsprechende Verarbei- 
tungseinheit 16, respektive ein Gbersetzungsmodul 422 (der Verarbeitungsein- 
heit 42), weiterleitet, wobei die Verarbeitungseinheit 16, respektive das Gber- 
setzungsmodul 422, beispielsweise als programmiertes Softwaremodul mitZu- 
gang zu nicht dargestellten Gbersetzungstabellen ausgefuhrt wird. Je nach 
Ausfuhrungsvariante sind sowohl das Texterkennungsmodul 15 als auch die 
Verarbeitungseinheit 16 ein Teil der mobilen Vorrichtung 1 , oder nur das 
Texterkennungsmodul 15 ist Teil der mobilen Vorrichtung 1, wahrend sich die 
Verarbeitungseinheit 42 mit dem Gbersetzungsmodul 422 in einer Zentrale 4 
befindet oder sowohl das Texterkennungsmodul 421 als auch die Verarbei- 
tungseinheit 42 mit dem Gbersetzungsmodul 422 befinden sich in der Zentrale 
4. Fur Ausfuhrungsvarianten, in denen Bildsegmentdaten zur Weiterverarbei- 
tung an entsprechende Module in der Zentrale 4 weitergeleitet werden, umfasst 
die mobile Vorrichtung 1 ein Kommunikationsmodul 17, welches die notigen 
Hard- und Softwarekomponenten umfasst, urn uber ein Mobilfunknetz 3 mit der 
Zentrale 4 zu kommunizieren. Das Mobilfunknetz 3 ist beispielsweise ein GSM- 
oder UMTS-Netz oder ein anderes, beispielsweise satellitenbasiertes, Mobil- 
funknetz, Qber welches die mobile Vorrichtung 1 mit der Zentrale 4, beispiels- 
weise unter Zuhilfenahme von SMS-Meldungen (Short Message Services), 
USSD-Meldungen (Unstructured Supplementary Services Data), GPRS-Dien- 
sten (Generalized Packet Radio Service) oder gemSss einem geeigneten Pro- 
tokoll uber den Nutzkanal Daten austauschen kann. 

Die Zentrale 4 basiert beispielsweise auf einem handelsublichen 
Kommunikationsserver, der uber ein Kommunikationsmodul 41 uber die notigen 
Hard- und Softwarekomponenten verfugt, urn uber das Mobilfunknetz 3 mit der 
mobilen Vorrichtung 1 zu kommunizieren. Die Zentrale 4 ist direkt oder uber 
geeignete Netzwerkelemente, beispielsweise eine Mobile Switching Station 
(MSC), mit dem Mobilfunknetz 3 verbunden und umfasst beispielsweise eine 
Datenbank 43, die auf dem selben oder einem separaten Computer implemen- 
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tiert ist und die oben angefuhrten Ubersetzungstabellen und/oder Tabellen mit 
Objektidentifizierungsdaten und zugeordneten Objektinformationen enthalt. 

Die Objektinformationen werden im zweiten Anwendungsbeispiel 
bendtigt, in welchem ein ausgewahltes Bildsegment, beispielsweise in der Form 
5 einer Bitmap oder in geeigneter komprimierter Form, als Bildsegmentdaten der 
Verarbeitungseinheit 16 zugefuhrt, respektive uber das Mobilfunknetz 3 an das 
Objektidentifizierungsmodul 423 (in der Verarbeitungseinheit 42) der Zentrale 4 
. weitergeleitet. Beispielsweise mittels geeigneten programmierten Software- 
funktionen werden in der Verarbeitungseinheit 16, respektive im Objektidentifi- 
10 zierungsmodul 423, aus den erhaltenen Bildsegmentdaten darin enthaltene 
Bilder von Objekten 2 herausgearbeitet und beispielsweise das in Bezug auf 
das Bildsegment zentralste oder grosste Objekt mit Hilfe der erwahnten 
Objektidentifizierungsdaten, die in der Datenbank 43, respektive in lokalen 
Tabellen in der mobilen Vorrichtung 1, gespeichert sind, identifiziert. Auf Grund 
15 der erhaltenen Objektidentifizierung werden dann der Datenbank 43, respektive 
den entsprechenden lokalen Tabellen in der mobilen Vorrichtung 1, zugeord- 
nete Objektinformationen entnommen und als Nutzinformationen bereitgestellt. 
Die Einsatzmoglichkeiten einer solchen ..Objektinformationsbrille" sind nahezu 
unbegrenzt, Objektinformationen sind beispielsweise Hintergrundinformationen 
betreffend Ausstellungsgegenstande in einem Museum oder historische Bauten 
und Sehenswurdigkeiten in einer Stadt, wobei der Vorteil der Objektinformati- 
onsbrille" darin besteht, dass der mobile Benutzer sich nicht an eine vorge- 
schriebene Route halten muss und nicht manuell herkommliche, papierbasierte 
oder elektronische Informationsquellen zu konsultieren braucht. 

Die von der Verarbeitungseinheit 16, 42 bereitgestellten Nutzinfor- 
mationen, beispielsweise Obersetzte Textinformationen oder Objektinformatio- 
nen, werden an ein Wiedergabemodul 18 in der mobilen Vorrichtung 1 weiter- 
geleitet, wobei dies von der Verarbeitungseinheit 42 in der Zentrale 4 mittels 
dem Kommunikationsmodul 41, uber das Mobilfunknetz 3 und das Kommunika- 
tionsmodul 17 erfolgt. Das Wiedergabemodul 18 umfasst die notigen Hardware- 
und Softwarekomponenten, urn die erhaltenen Nutzinformationen dem Benut- 
zer, beispielsweise vom Benutzer wahlbar, uber die virtuelle retinale Anzeige- 
vorrichtung 12 sichtbar oder, beispielsweise unter Zuhilfenahme eines Sprach- 
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synthesemoduls, uber nicht dargestellte akustische Wandler, beispielsweise 
Kopfhorer oder Lautsprecher, hdrbar zu machen. Die Wiedergabe in horbarer 
Form hat insbesondere den Vorteil, dass Nutzinformationen beispielsweise 
auch einem sehbehinderten Benutzer verfugbar gemacht werden konnen, was 
5 die Einsatz- und Anwendungsmoglichkeiten des erfindungsgemassen Verfah- 
rens und der erfindungsgemassen mobilen Vorrichtung 1 urn ein Vielfaches 
erweitert, da sie als Sehhilfe mit akustischer Nutzinformationswiedergabe ver- 
wendet werden konnen. 

In einer Ausfiihrungsvariante setzt sich die mobile Vorrichtung 1 zu- 
o sammen aus dem oben erwahnten speziell ausgestalteten Gehause oder dem 
speziell ausgestalteten Trager, in welchem, respektive auf welchem, sich min- 
destens die virtuelle retinale Anzeigevorrichtung 12 (mit dem Augenpositions- 
bestimmungsmodul 13) und die Bildaufnahmemittel 11 befinden, sowie aus ei- 
nem erweiterten herkommlichen mobilen Kommunikationsendgerat, beispiels- 
5 weise ein Mobilfunktelefon oder ein kommunikationsfahiger Lap- oder Palmtop- 
Computer, zusammen, welches Kommunikationsendgerat uber eine erwahnte 
Schnittstelle mit Komponenten im speziell ausgestalteten Gehause, respektive 
auf dem speziell ausgestalteten Trager, verbunden ist. Das mobile Kommuni- 
kationsendgerat ubernimmt dabei die Rolle des Kommunikationsmoduls 17, 
wobei das Auswahlmodul 14 sowie gegebenenfalls weitere Module, beispiels- 
weise das Texterkennungsmodul 15, die Verarbeitungseinheit 16 und Soft- 
warekomponenten des Wiedergabemoduls 18, als programmierte Software- 
module in einem Speicher des Kommunikationsendgerats gespeichert sind und 
auf einem Prozessordes Kommunikationsendgerat ausgefuhrt werden, bei- 
spielsweise ein Speicher und ein Prozessor auf einer Chipkarte des Kommuni- 
kationsendgerats. Diese Chipkarte, beispielsweise eine SIM-Karte (Subscriber 
Identification Module), kann gegebenenfalls auch die erwahnten Oberset- 
zungstabellen und Objektinformationen sowie benutzerspezifische Angaben, 
wie beispielsweise die gewiinschte Obersetzungszielsprache, enthalten. 

In einer anderen, mit der Zentrale kooperierenden Ausfuhrungsvari- 
ante umfassen die Komponenten im erwahnten speziell ausgestalteten Ge- 
hause, respektive auf dem speziell ausgestalteten Trager, neben der virtuellen 
retinalen Anzeigevorrichtung 12 (mit dem Augenpositionsbestimmungsmodul 
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13) und den Bildaufnahmemitteln 1 1 auch das Auswahlmodul 14, das Kommu- 
nikationsmodul 17, das Wiedergabemodul 18 sowie einen Prozessor und Spei- 
cher zur Ausfuhrung der Softwaremodule. 

Eine rein lokal operierende mobile Vorrichtung 1 umfasst im er- 
5 wahnten speziell ausgestalteten Gehause, respektive auf dem speziell ausge- 
stalteten Trager, neben der virtuellen retinalen Anzeigevorrichtung 12 (mit dem 
Augenpositionsbestimmungsmodul 13) und den Bildaufnahmemitteln 1 1 das 
Auswahlmodul 14, das Texterkennungsmodul 15, die Verarbeitungseinheit 16, 
das Wiedergabemodul 18 sowie einen Prozessor und Speicher zur Ausfiihrung 
io der Softwaremodule, respektive zur Speicherung von Obersetzungstabellen 
und/oder Objektinformationen. 

An dieser Stelle sollte zudem erwahnt werden, dass es durchaus 
auch mdglich ist, die Bildaufnahmemittel 1 1 , insbesondere eine Videokamera, 
so in die mobile Vorrichtung 1 zu integrieren, das sie vom Benutzer, beispiels- 
15 weise manuell, in eine beliebige Richtung gerichtet werden kann, so dass ins- 
besondere auch Objekte 2 betrachtet werden konnen, die nicht in der normalen 
Blickrichtung des Benutzers liegen, beispielsweise Objekte 2, die sich hinter 
seinem Rucken befinden oder nur durch eine kleine Offnung in einem Sehhin- 
dernis betrachtet werden konnen. 

20 Die mobile Vorrichtung 1 kann zudem mit Positionsbestimmungs- 

mitteln erweitert werden, beispielsweise satellitenbasierte Positionsbestim- 
mungsmittel, zum Beispiel basierend auf dem Global Positioning System 
(GPS), oder terrestrische Positionsbestimmungsmittel (Terrestrial Positioning 
System, TPS), so dass der Kontext zur Bestimmung von beschriebenen 

25 Nutzinformationen durch die aktuelle geografische Position des Benutzers, 
respektive der mobilen Vorrichtung 1, beeinflusst (eingeschrankt) werden kann. 

Einem interessierten Benutzer konnen vollstandige beschriebene 
mobile Vorrichtungen 1 verkauft oder vermietet werden. Es kann wirtschaftlich 
auch interessant sein, Ausbausatze zu verkaufen, die die notigen Komponen- 
30 ten zum Ausbau eines herkdmmlichen Kommunikationsendgerats zu einer be- 
schriebenen mobilen Vorrichtung lumfassen, welche Ausbausatze insbeson- 
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dere auch einen Datentrager mit darauf gespeichertem programmiertem Aus- 
wahlmodul 14, programmierten Softwarekomponenten des Wiedergabemoduls 
18, und gegebenenfalls ein programmiertes Texterkennungsmodul 15 und eine 
programmierte Verarbeitungseinheit 16 umfassen. interessierten Betreibern 
konnen beschriebene Zentralen 4 unter Lizenz angeboten werden oder Daten- 
trager verkauft werden, die ein programmiertes Kommunikationsmodul 41 und 
eine Verarbeitungseinheit 42, beispielsweise mit einem programmierten Texter- 
kennungsmodul 421, einem programmierten Obersetzungsmodul 422 und ei- 
nem programmierten Objektidentifizierungsmodul 423, sowie eine Datenbank 
43 enthalten, urn einen herkommlichen Kommunikationsserver, der die vom 
Kommunikationsmodul 41 benotigten Hardwarekomponenten umfasst, als be- 
schriebene Zentrale 4 zu betreiben. Ein Betreiber einer Zentrale 4 kann dem 
Benutzer beispielsweise fur jede Qbersetzung und fur jede Objektinformati- 
onsanfrage einen Geldbetrag belasten, wobei der Benutzer zu diesem Zweck 
durch eine Benutzeridentifizierung, beispielsweise eine IMSI (International 
Mobile Subscriber Identity) oder einem IDUI (International Debit User Identifier), 
ausgewiesen wird, die beispielsweise bei jeder Anfrage an die Zentrale 4 mit- 
geliefert wird. 
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Liste der Bezugszeichen 

1 Mobile Vorrichtung 

2 Objekt 

3 Mobilfunknetz 

4 Zentrale 

5 Auge 

1 1 Bildaufnahmemittel 

12. Virtuelle retinaie Anzeigevorrichtung 

1 3 Augenpositionsbestimmungsmodul 

14 Auswahlmodul 

1 5 Texterkennungsmodul 

16 Verarbeitungseinheit 

17 Kommunikationsmodul 

18 Wiedergabemodul 

41 Kommunikationsmodul 

42 Verarbeitungseinheit 

43 Datenbank 
51 Retina 
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52 Pupille 

421 Texterkennungsmodul 

422 Obersetzungsmodul 

423 Objektidentifizierungsmodul 
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Anspriiche 

1. Verfahren um einem mobilen Benutzer Nutzinformationen betref- 
fend von ihm betrachtete Objekte (2) zu liefern, dadurch gekennzeichnet, 

dass Bilddaten eines genannten Objekts (2) mittels vom Benutzer 
5 getragenen Bildaufnahmemitteln (1 1 ) aufgenommen werden, 

dass mindestens gewisse der genannten Bilddaten fur den Benutzer 
sichtbar gemacht werden, indem diesen genannten Bilddaten entsprechende 
Bildsignale direkt auf die Retina (51) des Benutzers projiziert werden, 

dass der Benutzer aus den sichtbar gemachten Bilddaten ein Bild- 
segment auswahlt, wobei das Bildsegment durch Augenpositionen des Benut- 
zers bestimmt wird, 

dass auf dem Bildsegment basierende Bildsegmentdaten an eine 
Verarbeitungseinheit (16, 42) geleitet werden, welche Verarbeitungseinheit (16, 
42) basierend auf genannte Bildsegmentdaten genannte Nutzinformationen 
bestimmt, und 

dass genannte Nutzinformationen fGr den Benutzer wiedergegeben 

werden. 

2. Verfahren gemass Anspruch 1, dadurch gekennzeichnet, dass 
sich genannte Verarbeitungseinheit (42) in einer Zentrale (4) befindet und dass 
genannte Bildsegmentdaten iiber ein Mobilfunknetz (3) an genannte Verarbei- 
tungseinheit (42) geleitet werden. 

3. Verfahren gemass einem der Anspriiche 1 oder 2, dadurch ge- 
kennzeichnet, dass genannte Bildsegmentdaten aus dem genannten Bildseg- 
ment herausgearbeitete Textinformationen in einer ersten Sprache umfassen 
und dass genannte Verarbeitungseinheit (16, 42) diese Textinformationen in 
genannte Nutzinformationen mit Textinformationen in einer zweite Sprache 
ubersetzt. 
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4. Verfahren gemass Anspruch 2, dadurch gekennzeichnet. dass 
genannte Bildsegmentdaten die dem genannten Bildsegment entsprechenden 
Bilddaten umfassen und dass genannte Verarbeitungseinheit (42) Textinforma- 
tionen in einer ersten Sprache aus dem genannten Bildsegment herausarbeitet 
und diese Textinformationen in genannte Nutzinformationen mit Textinformatio- 
nen einer zweiten Sprache tibersetzt. 

5. Verfahren gemass einem der Anspruche 1 oder 2, dadurch ge- 
kennzeichnet, dass genannte Verarbeitungseinheit (16, 42) basierend auf ge- 
nannten Bildsegmentdaten mindestens ein genanntes Objekt (2) identifiziert 
und dass genannte Verarbeitungseinheit (16, 42) basierend auf dieser Objekt- 
identifizierung genannte Nutzinformationen bereitstellt, welche Nutzinformatio- 
nen dem genannten Objekt (2) zugeordnete Objektinformationen umfassen. 

6. Verfahren gemass einem der Anspruche 1 bis 5, dadurch gekenn- 
zeichnet, dass mindestens gewisse genannte Nutzinformationen fur den Be- 
nutzer in sichtbarer Form wiedergegeben werden. 

7. Verfahren gemass einem der Anspruche 1 bis 6, dadurch gekenn- 
zeichnet, dass mindestens gewisse genannte Nutzinformationen fur den Be- 
nutzer in hflrbarer Form wiedergegeben werden. 

8. Mobile Vorrichtung (1), die seinem Benutzer Nutzinformationen 
betreffend von ihm betrachtete Objekte (2) liefert, dadurch gekennzeichnet, 

dass die Vorrichtung (1) Bildaufnahmemittel (11) umfasst, urn Bild- 
daten eines genannten Objekts (2) aufzunehmen, 

dass die Vorrichtung (1) eine virtuelle retinale Anzeigevorrichtung 
(12) umfasst, urn mindestens gewisse der genannten Bilddaten fur den Benut- 
zer sichtbar zu machen, wobei diesen genannten Bilddaten entsprechende 
Bildsignale direkt auf die Retina (51) des Benutzers projiziert werden, 
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dass die genannte virtuelle retinale Anzeigevorrichtung (12) ein 
Augenpositionsbestimmungsmodul (13) umfasst, welches aktuelle Augenposi- 
tionen des Benutzers bestimmt, und 

dass die Vorrichtung (1) ein Auswahlmodul (14) umfasst, welches 
5 basierend auf genannten Augenpositionen ein Bildsegment aus den fur den 
Benutzer sichtbar gemachten Bilddaten bestimmt, wobei das Auswahlmodul 
(14) auf dem Bildsegment basierende Bildsegmentdaten an eine Verarbei- 
tungseinheit (16, 42) weiterleitet, welche Verarbeitungseinheit (16, 42) basie- 
rend auf genannten Bildsegmentdaten genannte Nutzinformationen bestimmt, 
und 

dass die Vorrichtung (1) ein Wiedergabemodul (18) umfasst, urn ge- 
nannte Nutzinformationen fur den Benutzer wiederzugeben. 

9. Vorrichtung (1) gemass Anspruch 8, dadurch gekennzeichnet, 
dass die Vorrichtung (1) ein Texterkennungsmodul (15) umfasst, welches 
Texterkennungsmodul (15) aus dem genannten Bildsegment Bildsegmentdaten 
mit Textinformationen in einer ersten Sprache herausarbeitet. 

10. Vorrichtung (1) gemass Anspruch 9, dadurch gekennzeichnet, 
dass die Vorrichtung (1) genannte Verarbeitungseinheit (16) umfasst, welche 
Verarbeitungseinheit (16) genannte Textinformationen in genannte Nutzinfor- 
mationen mit Textinformationen in einer zweite Sprache Qbersetzt. 

11. Vorrichtung (1) gemass einem der Ansprtiche 8 oder 9, dadurch 
gekennzeichnet, dass die Vorrichtung (1) ein Kommunikationsmodul (17) um- 
fasst, urn genannte Bildsegmentdaten uber ein Mobilfunknetz (3) an eine ge- 
nannte Verarbeitungseinheit (42) in einer Zentrale (4) weiterzuleiten und urn 
durch die genannte Verarbeitungseinheit (42) herausgearbeitete Nutzinforma- 
tion Gber das Mobilfunknetz (3) entgegenzunehmen. 

12. Vorrichtung (1) gemass Anspruch 8, dadurch gekennzeichnet, 
dass die Vorrichtung (1) genannte Verarbeitungseinheit (16) umfasst, welche 
Verarbeitungseinheit (16) basierend auf genannten Bildsegmentdaten minde- 
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stens ein genanntes Objekt (2) identifiziert und basierend auf dieser Objekt- 
identifizierung genannte Nutzinformationen bereitstellt, welche Nutzinformatio- 
nen dem genannten Objekt (2) zugeordnete Objektinformationen umfassen. 

13. Vorrichtung (1) gemass einem der Anspriiche 8 bis 12, dadurch 
5 gekennzeichnet, dass sie ein Wiedergabemodul (18) umfasst, urn mindestens 

gewisse genannte Nutzinformationen fur den Benutzer in sichtbarer Form wie- 
derzugeben. 

14. Vorrichtung (1) gemass einem der Anspriiche 8 bis 13, dadurch 
gekennzeichnet, dass sie ein Wiedergabemodul (18) umfasst, urn mindestens 

10 gewisse genannte Nutzinformationen fur den Benutzer in horbarer Form wie- 
derzugeben. 

15. Zentrale (4), welche ein Kommunikationsmodul (41) umfasst, 
mittels welchem Kommunikationsmodul (41) sie Daten uber ein Mobilfunknetz 
(3) entgegennehmen und liber das Mobilfunknetz (3) ubermitteln kann, dadurch 
gekennzeichnet, 

dass die Zentrale (4) eine Verarbeitungseinheit (42) umfasst, urn aus 
uber das Mobilfunknetz (3) entgegengenommenen Bildsegmentdaten Nutzin- 
formationen fur einen Benutzer herauszuarbeiten, wobei die Bildsegmentdaten 
auf Bilddaten basieren, welche Bilddaten vom Benutzer betrachteten Objekten 
(2) entsprechen und urn genannte Nutzinformationen mittels des Kommunika- 
tionsmoduls (41) uber das Mobilfunknetz (3) an den Benutzer zu ubermitteln. 

16. Zentrale (4) gemass Anspruch 15, dadurch gekennzeichnet, 
dass genannte Verarbeitungseinheit (42) ein Texterkennungsmodul (421) um- 
fasst, urn aus den genannten Bildsegmentdaten Textinformationen in einer er- 
sten Sprache herauszuarbeiten. 

17. Zentrale (4) gemass einem der Anspriiche 15 oder 16, dadurch 
gekennzeichnet, dass genannte Verarbeitungseinheit (42) ein Obersetzungs- 
modul (422) umfasst, urn aus den genannten Bildsegmentdaten herausgear- 
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beitete Textinformationen in einer ersten Sprache in genannte Nutzinformatio- 
nen mit Textinformationen in einer zweite Sprache zu ubersetzen. 

18. Zentrale (4) gemass Anspruch 15, dadurch gekennzeichnet. 
dass genannte Verarbeitungseinheit (42) ein Objektidentifizierungsmodul (423) 
5 umfasst, urn basierend auf genannten Bildsegmentdaten mindestens ein ge- 
nanntes Objekt (2) zu identifizieren und basierend auf dieser Objektidentifizie- 
rung genannte Nutzinformationen bereitzustellen, welche Nutzinformationen 
dem genannten Objekt (2) zugeordnete Objektinformationen umfassen. 
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